2022-07-14
我们有兴趣估计深神经网络的不确定性，这些神经网络在许多科学和工程问题中起着重要作用。在本文中，我们提出了一个引人注目的新发现，即具有相同权重初始化的神经网络的合奏，在数据集中受到持续偏差的转移而训练会产生稍微不一致的训练模型，其中预测的差异是强大的指标。认知不确定性。使用神经切线核（NTK），我们证明了这种现象是由于NTK不变的部分而发生的。由于这是通过微不足道的输入转换来实现的，因此我们表明可以使用单个神经网络（使用我们称为$ \ delta- $ uq的技术）来近似它，从而通过边缘化效果来估计预测周围的不确定性偏见。我们表明，$ \ delta- $ uq的不确定性估计值优于各种基准测试的当前方法 - 异常拒绝，分配变化下的校准以及黑匣子功能的顺序设计优化。
translated by 谷歌翻译
对RAS和RAF蛋白的行为与细胞膜中局部脂质环境之间关系之间的关系的了解对了解癌症形成的基础机制至关重要。在这项工作中，我们采用深度学习（DL）来学习这种关系，通过预测基于脂质膜的RAS和RAS-RAF蛋白复合物的蛋白质定位状态，该状态基于蛋白质结构域周围的脂质密度（CG），相对于脂质膜。分子动力学（MD）模拟。我们的DL模型可以预测六个蛋白质状态，总体准确性超过80％。这项工作的发现为蛋白质如何调节脂质环境提供了新的见解，这反过来又可以帮助设计新型疗法以调节与癌症发展相关的机制中的这种相互作用。
translated by 谷歌翻译
捕获复杂的生物学现象通常需要多尺度建模，在使用有限的昂贵和高保真模型的有限组件开发粗糙和廉价的模型的情况下。在这里，我们在癌症生物学的背景下考虑了这样的多尺度框架，并解决了评估使用分子动力学模型的一维统计数据开发的连续模型的描述能力的挑战。使用深度学习，我们开发了一个高度预测性的分类模型，该模型可以从连续模型中识别复杂和新兴行为。两次模拟证明了超过99.9％的精度，我们的方法证实了蛋白质特异性的“脂质指纹”的存在，即脂质的空间重排以响应感兴趣的蛋白质。通过此演示，我们的模型还提供了对连续模型的外部验证，肯定了这种多尺度建模的价值，并可以通过进一步分析这些指纹来促进新的见解。
translated by 谷歌翻译
提高深神经网络（DNN）对分布（OOD）数据的准确性对于在现实世界应用中接受深度学习（DL）至关重要。已经观察到，分布（ID）与OOD数据的准确性遵循线性趋势和模型表现优于该基线非常罕见（并被称为“有效鲁棒”）。最近，已经开发出一些有前途的方法来提高OOD的鲁棒性：模型修剪，数据增强和结合或零射门评估大型预审预周化模型。但是，仍然对观察有效鲁棒性所需的OOD数据和模型属性的条件尚无清晰的了解。我们通过对多种方法进行全面的经验研究来解决这个问题，这些方法已知会影响OOD鲁棒性，对CIFAR-10和Imagenet的广泛自然和合成分布转移。特别是，我们通过傅立叶镜头观察“有效的鲁棒性难题”，并询问模型和OOD数据的光谱特性如何影响相应的有效鲁棒性。我们发现这个傅立叶镜头提供了一些深入的了解，为什么某些强大的模型，尤其是夹家族的模型，可以实现稳健性。但是，我们的分析还清楚地表明，没有已知的指标始终是对OOD鲁棒性的最佳解释（甚至是强烈的解释）。因此，为了帮助未来对OOD难题的研究，我们通过引入一组预处理的模型（固定的模型），以有效的稳健性（可公开可鲁棒）解决了差距，这些模型（固有的模型）以及不同级别的OOD稳健性。
translated by 谷歌翻译
深度学习方法通过依靠极大的大量参数化神经网络来提供许多应用程序的最先进性能。但是，此类网络已被证明非常脆弱，并不能很好地概括为新用途案例，并且通常很难在资源有限的平台上部署。模型修剪，即减少网络的大小，是一种广泛采用的策略，可以导致更健壮和可推广的网络 - 通常较小的数量级，具有相同甚至改善的性能。尽管有许多用于修剪模型的启发式方法，但我们对修剪过程的理解仍然有限。实证研究表明，某些启发式方法可以改善性能，而另一些可以使模型更脆或具有其他副作用。这项工作旨在阐明不同的修剪方法如何改变网络的内部功能表示以及对模型性能的相应影响。为了提供模型特征空间的有意义的比较和表征，我们使用三个几何指标，这些指标是从共同采用的分类损失中分解的。使用这些指标，我们设计了一个可视化系统，以突出修剪对模型预测以及潜在功能嵌入的影响。所提出的工具为探索和研究修剪方法以及修剪和原始模型之间的差异提供了一个环境。通过利用我们的可视化，ML研究人员不仅可以识别模型修剪和数据损坏的样本，而且还可以获得有关某些修剪模型如何实现出色鲁棒性能的见解和解释。
translated by 谷歌翻译
在本文中，我们在应用惯性监禁融合中的多模式数据之前，使用高度球形的Wasserstein AutoEncoder（WAE）。与需要从von MIS FISHER这样的分布的计算上采样计算的典型超球的生成模型不同，我们从发电机前后的正态分布采样。最后，为了确定所生成的样本的有效性，我们利用数据集中的模式之间的已知关系作为科学约束，研究所提出的模型的不同特性。
translated by 谷歌翻译